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*■ (57) Abstract: Algorithms for processing digitized images (digitally recorded, for example, by digital CCD or CMOS cameras, 
or analogally recorded by analog CCD cameras and subsequently converted in analog/digital converters) and for processing the 
>. information contained therein require, according to use, an extremely high amount of computing. Computer hardware, which is spe- 
5 cialized for vector calculation and color mixture, so-called graphical processing units GPU (e.g. so-called 3D-accelerated graphics 

* cards, preferably having the OpenGL standard and/or Direct X standard that are/is implemented on the hardware), and which has 
I been developed particularly for entertainment electronics (computer games and animation) or for the depiction of three-dimensional 
j structures (CAD), includes realizations of image processing algorithmics based on semiconductor technology. The inventive im- 
5 plementation of an item of hardware of the aforementioned type as an essential part of image processing enables an economically 
j sensible realization of a computer performance required for carrying out real-time image processing. According to the invention, 
j the GPU (also denoted, in part, as a VPU video processing unit) is not used in a conventional manner (namely for transforming 
| artificial three-dimensional worlds into a two-dimensional view that is as realistic as possible on a display screen, but instead is used 
w for the contrary by transforming real two-dimensional views (generally speaking: camera images) in order to determine the actual 
' geometries prevailing in the real three-dimensional space. 

* [Fortsetzung auf der niichsten Seile] 
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TM), europaisches Patent (AT, BE, BG, CH, CY, CZ, DE, 
DK, EE, ES, FI, FR, GB, GR, HU, IE, IT, LU, MC, NL, 
PT, RO, SE, SI, SK, TR), OAPI-Patent (BF, BJ, CF, CG, 
CI, CM, GA, GN, GQ, GW, ML, MR, NE, SN, TD, TG). 
VerSffentlicht: 

— ohne internationalen Recherchenbericht und erneut zuver- 
offentlichen nach Erhalt des Berichts 



Zur Erklcirung der Zweibuchslaben-Codes und der anderen Ab- 
Icurzungen wird auf die EMdrungen ("Guidance Notes on Co- 
des and Abbreviations ") am Anfang jeder regularen Ausgabe der 
PCT-Gazette verwiesen. 



(57) Zusammenfassung: Algorithmen zur Bcarbcitung von digitalisierten Bilder (digital aufgcnommen beispielsweise durch di- 
gitate CCD- oder CMOSKameras, oder analog aufgenommen durch analoge CCD-Kameras und anschliessend in Analog-Digital- 
Wandlern konvertiert) und der darin enthaltenen Informationen sind je nach Anwendung extrem rechenaufwendig. Auf Vektorrech- 
nung und Farbmischung spezialisierte Computer Hardware sogenannte Graphical Processing Units GPU (z.B. sog. 3D-beschleunigte 
Grafikkarten, vorzugsweise mit hardwaresei tig implementiertem OpenGL- und / oder Direct-X-Standard), die vornehmlich fur die 
Unterhaltungselektronik (Computerspiele und -animation) oder die Darstellung von 3-dimensionalen Konstruktionen (CAD) entwi- 
ckelt wurde, beinhalten Realisierungen von Bildverarbeitungsalgorithmik auf Basis der Halbleitertechnik. Durch die erfinderische 
Implementierung einer solcher Hardware als wescntlicher Teil der Bildverarbcitung, kann eine fur eine Echtzeit-Bildverarbeitung 
notwendige Rechnerleistung wirtschaftlich sinnvoll realisiert werden, In erfinderischer Weise wird hierbei die GPU (teilweise auch 
als VPU - Video Processung Unit bezeichnet) nicht in bisher ublicher Weise verwandt (namlich zur Transformation von synthischen 
3-dimensionalen Welten in eine moglichst realistische 2-D Ansicht auf einem Bildschirm), sondern gerade umgekehrt, namlich zur 
Transformation realer 2-D Ansichten (im allgemeinen: Kamerabilder) um daraus die tatsachlich im realen 3-dimensionalen Raum 
vorherrschenden Geometrien zu ermitteln. 
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5 Bildverarbeitung auf fur Vektorrechnung und Farbmischung op- 
timierter Hardware 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren 
10 nach dem Oberbegriff der Patentanspruche 1 und 5. 

Algorithmen zur Bearbeitung von digitalisierten Bilder (digi- 
tal aufgenommen beispielsweise durch digitale CCD- oder CMOS- 
Kameras, oder analog aufgenommen durch analoge CCD-Kameras 
15 und anschlieSend in Analog-Digital -Wandlem konvertiert) und 
der darin enthaltenen Informationen sind je nach Anwendung 
extrem rechenauf wendig . 

Bisher wird die Bildverarbeitung im allgemeinen auf frei pro- 

20 grammierbaren Recheneinheit (Central Processing Unit, CPU) 
implementiert . Die Rechenkapazitat der CPU ist hierbei der 
limitierende Faktor fur die Inf ormationsaufbereitung und -ge- 
winnung. Die Anwendung redundanter oder erganzender Algorith- 
men etwa zur wechselseitigen Kontrolle der Ergebnisse ist aus 

25 zeitlichen Grunden oft nicht moglich. Viele Applikationen un- 
terliegen der „Video-Echtzeitanf orderung" , d.h. Abarbeitung 
der Informationen eines Bildes in der Zeit, bis das nachste 
Bild zur Verfugung steht . Viele Kameras arbeiten mit einer 
Bildrate von 25 Hz, d.h. es stehen 40ms an Rechenzeit zur 

-30 Verfugung. Da durch die verwendete CPU auch die Rechenlei- 
stung begrenzt ist, sind der Informationsauswertung klare 
Grenzen gesetzt, selbst im Hinblick darauf , dass in den letz- 
ten Jahr.en Prozessoren mit stetig steigende Rechenleistung 
auf den Markt gekommen sind. Aus diesem Grund sind viele Be- 

35 arbeitungsschritte, die zwischenzeitlich algorithmisch be- 
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herrscht werden nicht einsetzbar, da der Zeitaufwand zu hoch 
ist. Insbesondere die simultane Anwendung aufwendiger Algo- 
rithraen, z.B. zur Bildverbesserung (Farbwertinterpolation) , 
Informationsaufbereitung (z.B. Umrechnung einer Ansicht in 
5 eine sog. Vogelperspektive) , Korrektur von Bildfehlern (z.B. 
Verzeichnung durch Linsen- oder Einbauf ehler) und zur Infor- 
mationsgewinnung (Auswertungsalgorithmik, wie Fahrspurerken- 
nung oder Obj ektklassif ikation) sind bei aktuellen Rechner- 
leistungen wirtschaf tlich nicht sinnvoll realisierbar . 

10 

Um eine ausreichende Verarbeitungsgeschwindigkeit zu gewahr- 
leisteten ist es deshalb, insbesondere aus der Militartech- 
nik, auch bekannt, spezielle auf die vorliegende Bildverar- 
beitungsaufgabe spezif izierte Prozessoren (ASICS, application 

15 specific integrated circuits) zu verwenden. Bei solchen Pro- 
zessoreinheiten ist es moglich eine spezifische Verarbeitung- 
salgorithmik hardware -technisch zu realisieren und auf diese 
weise eine hohe Verarbeitungsgeschwindigkeit zu erzielen. Ei- 
ne solche Losung birgt jedoch den Nachteil hoher Gestehungs- 

20 kosten, da nur eine anwenderspezif ische Kleinserie gefertigt 
werden kann, und einer starren Verarbeitungsstruktur , welche 
sich nur sehr eingeschrankt an sich andernde Anf orderungen, 
welche sich beispielsweise aus den im Rahmen des Produktent- 
wicklungsprozess entstehenden Erkenntnissen ergeben, anpassen 

25 lassen. 

Aufgabe der Erfindung ist es deshalb, eine Vorrichtung und 
ein Verfahren zur Bildverarbeitung zu finden, welche wirt- 
schaf tlich sinnvoll, hohe Rechnerleistung und flexible Pro- 
30 duktgestaltung garantiert. 

Die Aufgabe wird durch eine Vorrichtung und ein Verfahren mit 
den Merkmalen der Patentanspriiche 1 und 5 gelost . 
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Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfin- 
dung werden durch die abhangigen Patent anspruche beschrieben. 

Auf Vektorrechnung und Farbmischung spezialisierte Computer- 
5 Hardware sogenannte Graphical Processing Units GPU (z.B. sog. 
3D-beschleunigte Graf ikkarten, vorzugsweise tnit hardwaresei- 
tig implement iertem OpenGL- und / oder Direct -X- Standard) , 
die vornehmlich fur die Unterhaltungselektronik (Computer- 
spiele und -animation) oder die Darstellung von 3-dimensiona- 

10 len Konstruktionen (CAD) entwickelt wurde, beinhalten Reali- 
sierungen von Bildverarbeitungsalgorithmik auf Basis der 
Halbleitertechnik. Durch die erf inderische Implementierung 
einer solcher Hardware als wesentlicher Teil der Bildverar- 
beitung, kann eine fur eine Echtzeit-Bildverarbeitung notwen- 

15 dige Rechnerleistung wirtschaf tlich sinnvoll realisiert wer- 
den. In erf inderischer Weise wird hierbei die GPU (teilweise 
auch als VPU - Video Processung Unit bezeichnet) nicht in 
bisher ublicher Weise verwandt (namlich zur Transformation 
von synthischen 3 -dimensionalen Welten in eine moglichst rea- 

20 listische 2-D Ansicht auf einem Bildschirm) , sondern gerade 
umgekehrt, namlich zur Transformation realer 2-D Ansichten 
(im allgemeinen: Kamerabilder) urn daraus die tatsachlich im 
realen 3 -dimensionalen Raum vorherrschenden Geometrien zu er- 
mitteln. 

25 

Die Erfindung macht somit zwar Gebrauch von einer allgemein 
bekannten Vorrichtung, namliche einer GPU, nutzt diese aber 
in absoluter Abkehr von deren bestimmungsgemafien Gebrauch. 
Insbesondere die Verbindung des Ausgangs einer Kameraeinheit 
30 mit dem Eingang einer GPU bzw. einer Graphikkarte ist im Rah- 
men dieser Erfindung erstmalig und wird dem Fachmann durch 
den Stand der Technik auch nicht nahegelegt. Im Gegenteil, 
zeigt der Stand der Technik zur Optimierung der Verarbei- 
tungskapazitat einer Kamerabildverarbeitung die Moglichkeit 
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auf, die Kamera mit einer intelligenten Frame- Grabber -Karte 
zu kombinieren, urn die Bilddaten vor der eigentlichen Bild- 
verarbeitung durch die CPU des Rechners moglichst effektiv 
vorzuverarbeiten. Solche Frame-Grabber-Karten (beispielsweise 
5 Snapper-PCI-8/24 der Fa. Active Silicon.) ermoglichen es, bei- 
spielsweise mittels eines sogenannten Data -Mappers gezielt 
Ausschnitte aus den Bilddaten auszuwahlen, nachfolgend der 
Bildverarbeitung zugeftihrt werden sollen; eine Verarbeitung 
der Bilddaten durch eine GPU findet hierbei jedoch nicht 
10 statt. 

Durch recht freie Programmierbarkeit der GPU wird es auch 
moglich, ein solch erf inderisches Bildverarbeitungssystem 
flexibel an sich andernde Bedingungen anzupassen. Auch konnen 

15 durch die Erfindung bildverarbeitende Gerate zuverlassiger 
und ausfallsicherer gemacht werden, da beispielsweise die 
allgemein iibliche Parallel -Schaltung mehrerer CPU's zur Lei- 
stungssteigerung entfallt. Andererseits erlaubt es die erhoh- 
te Rechenleistung, mehr Information in gleicher Zeit zu ver- 

20 arbeiten, beziehungsweise innerhalb der zur Verfugung stehen- 
den Zeit bestimmte Inf ormationen zu Verif izieren, indem die 
Bilddaten parallel durch mehrer Algorithmen verarbeitet wer- 
den, welchen unterschiedliche Losungsansatze zu Grunde lie- 
gen. Die Verwendung einer GPU fur Bildverarbeitungsaufgaben 

25 bildet auch einen wirtschaf tlich optimalen Kompromiss zwi- 

schen der herkommlichen Verwendung von CPU's und der bekann- 
ten spezifischen Hardwarerealisierung der Algorithmik auf ei- 
nem AISIC, da so fur andere Zwecke (meist Computerspiele oder 
CAD-Anwendungen) konzipierte Standard -Hardware, welche mitt- 

30 lerweile als kostengiinstige Massenware zur Verfugung steht, 
verwendet werden kann. 

Die wesentlichen Unterschiede zwischen einer CPU wie sie in 
alien gangigen Computern als zentrale Rechnereinheit zu fin- 



WO 2004/027707 



PCT/EP2003/010030 



den ist und einer GPU, wie sie insbesondere auf Graphikkarten 
zur Wandlung synthetischer 3 -dimensional er Bilddaten in 2- 
dimensionale Darstellungen Verwendung findet, sei zur weite- 
ren Klarstellung der Erfindung nachfolgend auch anhand der 
5 Figuren 1 und 2 erlautert. 

Eine CPU, wie sie in Figur 1 aufgezeigt ist, besteht aus ei- 
ner Kontroll-Einheit zu deren Steuerung, einer arithmeti- 
schen-logischen Einheit (ALU) , Registern (die dauerhaft exi- 

10 stieren und mit beliebigen Daten gefiillt werden konnen) , ei- 
ner Prefetch-Queue, die Daten vorausschauend viber den Daten- 
Bus in den Cache holt und dem Daten-Bus- Interface, welches 
die Schnittstelle zur restlichen Hardware (Graf ikkarte, 
Schnittstellenkarte, Festplatte, CD-ROM, etc.) darstellt. Die 

15 CPU ist auf die seguentielle Bearbeitung von Daten ausgelegt. 

Figur 2 zeigt deutlich, dass die einzelnen Einheiten der GPU 
in Form einer Pipeline angeordnet sind. Die einzelnen Daten 
werden hierdurch sequentiell durch die Einheiten, den soge- 
2 0 nannten Shadern, der GPU geschoben. Die wesent lichen Elemente 
einer GPU lassen sich wie folgt beschreiben: 

- Die Vektorrechnung wird in der sogenannten Geometrie- 
Pipeline vorgenommen. Diese sind in der Lage dreidimensio- 

2 5 nale Vektoren zu verarbeiten. Sollte die standardmaSig im- 
plementierten Methoden fur den jeweiligen Algorithmus nicht 
ausreichen, konnen diese durch den Programmierer durch spe- 
zifische Programme (Vertex-Shader) erweitert und angepasst 
werden. Dadurch konnen jedem Pixel bestimmte Projektion- 

30 sentfemungen und Rechnung zugeordnet werden und dadurch 
Entzerrungen und Perspektiven rekonstruiert werden. Jede 
Art von Bildverarbeitungsalgorithmik, die Vektorrechnung 
beinhaltet (z.B. dreidimensionale Rekonstruktion einer Sze- 
ne durch Auswertung von Stereobildern) kann von diesen Ein- 
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heiten unterstiitzt und / oder ersetzt werden. Konkrete An- 
wendungen siehe unten. 

- Die Farbmischung findet auf sogenannten Textur- und Pi- 
xel-Shadern statt . Diese Shader konnen Farbwerte nach be- 

5 stiramten Muster innerhalb des Bildes verschieben oder farb- 
liche Zwischenwerte fur bestimmte Bereiche generieren. Es 
stehen bei den derzeit auf dem Markt verfugbaren GPU bis zu 
4 Textur-Einheiten zur Verfugung, so dass z.B. auf eine 
Geometrie mehrere Texturoperationen gleichzeitig angewendet 

10 werden konnen. Zudem konnen mehrere Einheiten arithmetisch 
miteinander verbunden werden. Operationen die etwa auf dem 
Vergleich von Farbwerte oder dem Positionsvergleich identi- 
scher Farbwerte oder Farbwertkombinationen in verschiedenen 
Bildern beruhen konnen von diesen Einheiten unterstiitzt und 

15 / oder ersetzt werden. 

Innerhalb der Pipeline konnen Elemente verworfen werden. Dies 
geschieht im Prinzip fur jedes Element einzeln, d.h. ohne 
Kenntnis benachbarter Elemente. Dies hat folgende Konsequen- 
20 zen: 

- Da auch keine dauerhaften Register wie bei der CPU zur 
Verfugung stehen, ist z.B. keine Aufsummieren von Farbwer- 
ten iiber einen Bildbereich moglich. Register werden nur 
wahrend der Berechnung eines Elements (z.B. eines Vektors) 

25 angelegt und danach wieder geloscht (dies konnte sich evtl. 
in den nachsten Generationen von GPU' s andern.) 

- Da die einzelnen Elemente unabhangig voneinander bearbei- 
tet werden, ist die Reihenfolge der Bearbeitung irrelevant. 
Dies ist ein wesentliche Voraussetzung fur die Paralleli- 

3 0 sierung der Bearbeitung und die Geschwindigkeiten, die da- 
mit erreicht werden konnen. Auf der Grafikkarte konnen des- 
halb mehrere Einheiten untergebracht werden. Gangige GPU' s 
bzw. Graphikkarten haben beispielsweise bis zu 4 Textur- 
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Einheiten (zukunftig werden vermutlich noch mehr Einheiten 
vorhanden sein) , die parallel arbeiten. 

- Einheiten wie die ALU oder die Prefetch-Queue sind im Ge- 
gensatz zur CPU bei einer GPU nicht vorhanden. 

5 

Die oben angefuhrten Unterschiede zwischen der GPU und der im 
Stand der Technik fur die Bildverarbeitung herangezogene CPU 
erfordert eine spezielle Anpassung der bisher bekannten Bild- 
verarbeitungsalgorithmik an die vorliegende GPU-Architektur . 
10 Um den Begriff GPU zusatzlich zu den vorigen Erlauterungen 
eindeutig zu definieren, seien nachfolgend beispielhaft gan- 
gige fur die erf indungsgemafie Verwendung zur Bildverarbeitung 
geeignete GPU' s angef uhrt : 

- GeForce4 Serie der Firma NVIDIA Corporation 
15 - nForce Serie der Firma NVIDIA Corporation 

- Parhelia-512 GPU der Firma Matrox Graphics Inc.. 

- ATI RADEON GPU der Firma ATI Technologies Inc. 

- Wildcat VP Visual Processing Unit (VPU) der Firma 3D-Labs 
Inc . 

20 

Selbstverstandlich wird, insbesondere auch im Rahmen dieser 
Anmeldung unter einer GPU nicht nur der isolierte Prozessor- 
baustein als solcher (Beispiele siehe oben) , sonder auch die 
mit diesem Graphik Prozessor zusammenhangende Hardware - 

25 Periphere (beispielsweise, diesem zugeordnete Bildspeicher 
oder auch speziell insbesondere fur die Systemverwaltung op- 
timierte CPUs) verstanden. Solche Systeme aus GPU- Prozessor 
mit zugehoriger Hardware -Peripherie wird gemeinhin auch als 
Graphikkarte bezeichnet, da es meist als ein in ein CPU- 

30 basiertes Computersystem integrierbare Einsteckkarte reali- 
siert wird. An Stelle solcher Graphikkarten ist es aber 
gleichwohl auch moglich, dass solche Systeme aus GPU- 
Prozessor und Hardware -Peripherie als eine gemeinsame Einheit 
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direkt auf dem Motherboard des Computersystems realisiert 
sind. 

In besonders vorteilhaf ter Weise erhalt das erf inderischen 
5 Bildverarbeitungssystem die zu verarbeitenden Bilddaten di- 
rekt durch eine Kameraeinheit geliefert, wodurch sich ein 
echtzeitf ahige Kamerabildverarbeitung realisieren lasst, ins- 
besondere zum Einsatz in einem Kraf tfahrzeug im Zusammenhang 
mit einem Sicherheits- oder Assistenzsystem. Andererseits ist 
10 es sehr wohl auch moglich das Bildverarbeitungssystem zur ef- 
fektiven und schnellen Nachbearbeitung von in einem Bildspei- 
cher gespeicherten Kamerabildern heranzuziehen. 

Je nach Anwendungsf all konnen sodann die Auswertungsergebnis- 
15 se der Bildverarbeitung sowohl auf einer Bildanzeige bei- 
spielsweise einem Kraf tfahrzeugfuhrer dargebracht werden, 
oder auch in besonders vorteilhaf ter Weise an andere System- 
einheiten weitergeleitet werden, welche auf dieser Grundlage 
auf andere Systeme einwirken, urn beispielsweise ein Fahrzeug 
20 vor einem aus den Bilddaten erkannten Hindernis automatisch 
abzubremsen. 

Zur weiteren Leistungssteigerung des erf inderischen Bildver- 
arbeitungssystems ist es gewinnbringend, wenn parallel zu dem 

25 Graphikprozessor eine frei programmierbare CPU angeordnet 
ist. Eine solche CPU ist insbesondere fur organisatorische 
Aufgaben im Rahmen der Bildverarbeitung geeignet und konnte 
in steuernder oder regelnder Weise auf den Verarbeitungsab- 
lauf in der GPU einwirken. So konnten beispielsweise ausge- 

30 hend von den Auswertungsergebnissen oder von veranderten Rah- 
menbedingungen (beispielsweise: Wechsel zu einer anderen Ka- 
meraoptik) bestimmte Parameter der im wesentlichen auf der 
GPU implementierten Verarbeitungsalgorithmik verandert wer- 
den. Andererseits last sich durch eine solche Parallelstel- 
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lung einer CPU zu der eigentlichen graphischen Verarbeitungs- 
einheit GPU die Verarbeitungsef f izienz steigern, indem an- 
stelle der gemeinhin ublichen Abfolge der Bildverarbeitung, 
dergestalt dass Bild per DMA von der Kamera direkt in die GPU 
5 und nach der Aufbereitung durch die Recheneinheiten der GPU 
uber DMA in den Hauptspeicher der CPU zur Weiterverarbeitung 
geladen werden, ganz oder teilweise umgekehrt werden. So ist 
es in vorteilhafter Weise moglich, wie bisher, zuerst die 
Bilddaten von der Kamera uber DMA in den CPU-Hauptspeicher zu 

10 laden. Hierzu werden nach ersten Verarbeitungsschritten durch 
die CPU die Bilddaten und/oder Teile davon in einen oder meh- 
rere der GPU zugeordnete Bilddaten-Speicher verschoben, ver- 
arbeitet und gegebenenf alls auch angezeigt. Nach der Bearbei- 
• tung durch die GPU, konnen die resultierenden Daten wieder in 

15 den Hauptspeicher der CPU geladen werden. Diese wechselseiti- 
ge Bearbeitung durch CPU und GPU kann je nach Anf orderungen 
des Algorithmus oder nach Kriterien einer effizienten Imple- 
ment ierung mehrfach geschehen. 

20 Wie bereits zuvor erwahnt, tmissen aus dem Grund, dass eine 
GPU im Gegensatz zu einer CPU nicht frei programmierbar ist, 
die eventuell bereits aus dem Stand der Technik bekannten 
Teilalgorithmen zur Bildverarbeitung abgeandert und auf eine 
GPU-spezif ische Implement ierung angepasst werden. In beson- 

25 ders vorteilhafter Weise konnen hierdurch die speziell auf 
die Shader-Strukturen der GPU angepassten Algorithmen auch 
die durch die Vertex- oder Textur-/Pixel-Shader zur Verfugung 
gestellte Funktionalitat ausnutzen. 

30 Nachfolgend wird an mehreren Beispielen das notwendige erfin- 
derische Vorgehen zur Anpassung von Bildverarbeitungsalgo- 
rithmen auf eine GPU -Hardware- Struktur beschrieben. 

Entzerrung von Bildern 



WO 2004/027707 



PCT/EP2003/010030 



10 

Durch Linsenf ehler und mangelhaf ten Einbau von Linsen und Ka- 
merachips entstehen Verzeichnungen (Abbildungsf ehler) die 
mittels der GPU, insbesondere deren Pixel -Shadern, unter Ver- 
wendung von Kalibrationsalgorithmen schnell und effektiv kor- 
5 rigiert werden konnen. Hierbei werden aus den Bilddaten der 
Kamera die Verzeichnungsparameter bestimmt und hieraus die 
notwendigen Rechenvorschrif ten bestimmt, wie Farb- oder Grau- 
wert in den Bilder verschoben werden miissen, fur die Kalibra- 
tionsalgorithmen, damit die Bilddaten nach Durchlauf dieser 
10 Stufe der Bildverarbeitung so vorliegen, als ob sie von einer 
idealen Kamera entstammten. 

Farbmischung 

Die Farbmischung findet auf sogenannten Textur- und Pixel - 
15 Shadern statt. Diese Shader konnen Farbwerte nach bestimmten 
Muster innerhalb des Bildes verschieben oder farbliche Zwi- 
schenwerte fur bestimmte Bereiche generieren. Es stehen bis 
zu 4 Textur-Einheiten zur Verfiigung, so dass z.B. auf eine 
Geometrie (siehe oben) mehrere Texturoperationen angewendet 
2 0 werden konnen. Zudem konnen mehrere Einheiten arithmetisch 
miteinander verbunden werden. Operationen Bildverarbeitung 
im weitesten Sinne, die etwa auf dem Vergleich von Farbwerte 
oder dem Posit ionsvergleich identischer Farbwerte oder Farb- 
wertkombinationen in verschiedenen Bildern beruhen konnen von 
25 diesen Einheiten unterstiitzt und / oder ersetzt werden. 

Interpolationsverfahren 

Die Ermittlung von Farb- oder Grauzwischenwerten, etwa bei 
einer BildgroSenanderung oder im Rahmen der Entzerrung von 
30 Bilddaten, sind sehr aufwendig und konnen bisher nicht oder 
nur partiell (auf einzelnen, vorher bestimmten Bildbereichen) 
durchgefiihrt werden. Die fest implementierten Interpolations- 
funktionen, insbesondere die Funktionalitat der Pixel-Shader, 
verbessern die gesamten Bilddaten, so dass verschiedene Algo- 
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rithmen (etwa Kantenextraktionen) , die auf entsprechend feine 
Strukturen angewiesen sind, bessere Ergebnisse liefern. 

Um Farbwerte benachbarter Pixel auf summieren zu konnen, kann 
5 die Inteipolationsroutine entgegen ihrer eigentlichen Bestim- 
mung in erf inderischer Weise so genutzt, dass zur gewunschten 
Interpolation uber jeweils 4 Pixel der Bilddaten eines Bild- 
ausschnittes dieser Bildausschnitt in beiden Dimensionen urn 
den Faktor 2 verkleinert wird, wobei die GPU standardmaSig 

10 eine Interpolation der Bilddaten uber die 4 jeweils benach- 
barten Pixel ausfvihrt. Da dieser Faktor 4 jedoch bekannt ist, 
last sich auf einfache Multiplikation der aus der Interpola- 
tion resultierenden Farbwerte der Bilddaten die eigentlich 
gesuchte Farbwertsumme wieder herstellen. Dieses Vorgehen 

15 last sich selbstverstandlich entsprechend auch mit GPU-Hard- 
ware anwenden, welche standardmafiig uber mehr als 4 umliegen- 
de Pixelwerte interpoliert . 

Rekonstruktion von Bildem 

20 Spezielle Kamerageometrien, wie z.B. panoramische Kameras, 

bestehend aus Spiegeln und Linsen, erfordern geometrische Mo- 
delle zur Rekonstruktion des Bildes. Wird z.B. eine Rotati- 
onsparaboloid in der panoramischen Kamera verwendet, so lasst 
sich ein Vektormodell des Rotationsparaboloids in der GPU ab- 

25 legen. Das direkt uber DMA in die GPU geholte Bild wird auf 
diese Vektorflache gelegt; dies geschieht insbesondere im 
Vertex- Shader. Da die auSere Geometrie der Vektorflache der 
inneren Geometrie des aufgenommenen Bildes entspricht, findet 
automatisch Rekonstruktion des Bildes statt. Die auf genommene 

30 BildgroSe, die Blickrichtung und der Kamerapunkt innerhalb 

der geometrischen Anordnung konnen frei angeben. Dadurch las- 
sen sich Bilddaten beliebiger Kamera-Ansichten innerhalb des 
aufgenommenen Raumes in diesen rucktransf ormieren. 
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Wird beispielsweise bei der Bildaufnahme durch eine panorami- 
sche Kamera als Spiegel nicht ein Paraboloid, sondern ein Hy- 
perboloid, Ellipsoid, eine Kugel oder eine andere geometri- 
sche Form verwendet, so lassen sich diese auf die ein und 
5 dieselbe Art und Weise in der GPU hinterlegen und entspre- 
chende Ergebnisse erzielen. 



10 Rekonstruktion von Freif lachen-Ref lexionen 

Der Einsatz von Vektorf lachen ist nicht auf die unter dem 
vorherigen Punkt „Rekonstruktion von Bildern" beschriebenen 
wohldef inierten Geometrien beschrankt . Da im Prinzip fur je- 
des Bildelement (Pixel) ein spezieller Vektorpunkt angegeben 

15 werden kann, konnen auch Spiegelungen an bekannten Freifla- 
chen mittels der GPU rucktransf ormiert werden. So kann bei- 
spielsweise aus den Stereobilddaten der tatsachliche Standort 
eines sich auf der Motorhaube eines Kraf tf ahrzeuges spiegeln- 
den Baumes durch Riicktrans format ion errechnet werden, da die 

20 Abbildungsgeometrien der Motorhaube, beispielsweise aus deren 
CAD-Daten, genau bekannt sind. 

Sind die Vektordaten fur die angegeben Flache nicht dicht 
uber den Pixeln (es wird z.B. zur Reduzierung der zu iibertra- 

2 5 genden Vektorgeometrie-Daten nur eine Vektorpunkt fur jedes 
vierte Pixel angegeben) , so kann die GPU in besonders vor- 
teilhafter Weise genutzt werden, urn die Zwischenwerte fur die 
nicht angegebenen Pixel autoraatisch linear durch die bereits 
im Vertex-Shader realisierte Hardware zu interpolieren. Dies 

-3 0 bedeutet, dass automatisch durch die GPU-Hardware zwischen 
den gegebenen Flachenpunkten eine Triangulation stattfindet. 
Aufwendige Ansatze, die zuerst in den Daten entsprechende 
Dreiecksberechnung (Triangluar-Mesh) durchfuhrten, konnen so- 
mit entf alien. 
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Berechnung von anderen Kameraperspektiven 

Fur bestimme Anwendungen kann es sinnvoll sein, den Blick- 
punkt der Kamera virtuell zu verlegen, beispielsweise urn eine 
5 Ansicht in Vogelperspektive zu schaffen. Ein anderes Beispiel 
hierzu ist die Erkennung von Fahrbahn- und f ahrbahnparallelen 
Strukturen (Spurerkennung) aus Kamerabildern. Ublicherweise 
wird die Kamera zur Spurerkennung im Frontbereich des Fahr- 
zeugs eingebaut, so dass der Blick der Kamera in etwa dem 

10 Blick des Fahrers entspricht. Da die normale Linsenkamera 
perspektivisch arbeitet, werden die Fahrbahnstrukturen als 
auf den Fluchtpunkt zulaufenden Strukturen im Bild wiederge- 
geben. D.h. in der Realitat parallele Strukturen sind im Bild 
nicht mehr parallel. Ist die Einbauhohe, der Blick- und Nick- 

15 winkel der Kamera bekannt, so kann das Bild in eine sog. Vo- 
gelperspektive umgerech.net werden. Dazu werden die Bildinfor- 
- mationen algorithmisch auf die StraSenebene zuruckproj iziert . 
Das so entstandenen Bild wird durch eine virtuelle Kamera, 
die sich geometrisch vor dem Fahrzeug in befindet und deren 

20 Bildebene parallel zur StraSenebene ist abgebildet . Durch 

dieses Verfahren werden parallele Strukturen in der Strafiene- 
bene bzw. in dazu parallelen Ebenen als parallele Strukturen 
im aus der Bildverarbeitung resultierenden Datensatz abgebil- 
det. Da es sich bei dieser Vogelperspektiven-Berechnung urn 

25 reine geometrische Modelle handelt, kann hierzu in gewinn- 

bringender Weise die auf graphische Transformation optimierte 
. Hardware der GPU, insbesondere der Vertex- Shader, genutzt 
werden. Fur dieses Vorgehen insbesondere zwei Verf ahrensab- 
laufe denkbar: 

3 0 - Beim einen gewinnbringenden Verf ahrensabl auf werden in ei- 
nem ersten Schritt eine Ebene festgelegt, die der StraSenebe- 
ne entspricht. Hierzu das Ergebnis einer Nickwinkelbestimmung 
der Kamera zur Definition der Ebene berucksichtigt werden, 
d.h. es ist eine , Nachf uhrung 1 der Ebene wahrend der Bewegung 
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der Kamera moglich, beispielsweise wahrend der Fahrt einer 
Kamera in einem Kraf tf ahrzeug. Das Kamerabild wird nun ganz 
oder in Teilen auf die Ebene gelegt . Die von der GPU zur Dar- 
stellung automatisch durchgefiihrte Projektion erledigt die 
Rekonstrukt ions auf gabe . 

- Zum anderen ist es in ebensolch vorteilhaf ter Weise mog- 
lich, dass auf einer Ebene der Projektion, d.h. dem Nick- und 
Blickwinkel, entsprechend die Textur-Koordinaten des Bildes 
verandert werden. Dies erzielt den gleichen Rekonstrukt ions - 
effekt. 

Weitere Anwendung solcher Rekonstrukt ionen neben der Spurer- 
kennung sind etwa Riickf ahrkameras fur Pkw, Transporter oder 
Lkw. Dabei wird das aufgenommenen Bild in die Perspektive ei- 
ner Kamera umgerechnet, die hinter dem Fahrzeug zu schweben 
scheint. Eine weitere Anwendung ware die Uberwachung des to- 
ten Sichtbereichs direkt vor einem Lkw. Durch die hohe Sitz- 
position des Fahrers und die hohe Scheibenunterkante ist der 
Raum unmittelbar vor dem Fahrzeug fur den Fahrer nicht ein- 
sehbar. Durch eine oben angebrachte Kamera kann dieser Raum 
iiberwacht werden. Eine hilfreiche Darstellung des Bildes fur 
den Fahrer ist wiederum eine Vogelperspektive , bei der die 
virtuelle Kamera vor dem Fahrzeug jschwebt 1 . In den aufge- 
zahlten Beispielen wurde als Bildquelle eine normale, per- 
spektivische Linsenkamera angefuhrt. Es konnen jedoch genauso 
Bilddaten wie sie von einer panoramische und/oder orthogra- 
phische Kameras geliefert werden, verwendet werden. 

Korrelation von Bildern 

Verfiigt eine GPU uber mehrere Textur-Shader , konnen auf ein- 
fache Weise schnelle Korrelationsroutinen, beispielsweise fur 
die Stereobildverarbeitung auf der GPU realisiert werden. 
Durch geeignete Verschiebung der Arbeitspunkte, berechnet man 
an entsprechend versetzten Stellen in den jeweiligen Textur- 
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Shadern die Farbwerte. Nach dieser Berechnung werden die 
hierbei gewonnenen Texturen geeignet gemischt, urn ein Korre- 
lationsergebnis, beispielsweise ein Entf ernungsbild bei der 
Stereobildverarbeitung zu erhalten. 

5 



Realisierung der Kamera-Belichtungsregelung bzw. Farbwert- 

10 Anpassung durch die GPU. 

Moderne CMOS- und CCD-Kameras haben einen groSen Dynamikbe- 
reich, d.h. es kdnnen lichtschwache und lichtstarke Objekte 
gleichzeitig abgebildet werden. Um diesen grofien Helligkeits- 
bereich abzudecken, verwenden die Kamera eine 12 Bit- 

15 Representation fur das Bild. Da viele Displays nur 8 Bit- 

Grauwertbilder anzeigen konnen, mussen die Kamerainternen 12 
Bit auf 8 Bit reduziert werden. Dies kann auf unterschiedli- 
che weise geschehen. Zum einen kann ein 8 Bit Bereich inner- 
halb der 12 Bit festgelegt werden. Darin wird entsprechend die 

20 Belichtungszeit der Kamera geregelt, damit ein verwertbares 
Bild entsteht. Die Belichtungszeit wird durch Auswertung der 
Intensitatsverteilung im ganzen Bild oder bestimmten Bildtei- 
len berechnet. Dies geschieht durch die CPU. Zum anderen kann 
der 8 Bit Bereich innerhalb der 12 Bit variabel gewahlt wer- 

25 den. Dann besteht die Aufgabe darin, den fur die aktuelle 

Lichtsituation geeigneten 8 Bit Bereich innerhalb der 12 Bit 
zu bestimmen (z.B. die unteren 8 Bit bei Nacht und / oder 
Fahrt in einem Tunnel, die oberen 8 Bit bei hellem Sonnen- 
schein, oder Fahrt in die untergehende Sonne).. Bei dieser Me- 

30 thode bleibt die Belichtungszeit unverandert . Die Wahl des 

Bereichs geschieht ebenfalls durch die Auswertung der Inten- 
sitatsverteilung in ganzen Bild und/oder Bildteilen unter 
CPU- Last . 
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Besonders vorteilhaft last sich jedoch die Belichtungsrege- 
lung unter Zurhilf enahme einer GPU, insbesondere mittels de- 
ren Pixel-Shadern, realisieren. Die GPU ist iiblicherweise 
fur die Verarbeitung von Farbbildern ausgelegt . Fur die Farb- 
5 bildverarbeitung wird eine RGBA-Forraat verwendet . Das bedeu- 
tet es stehen jeweils 8. Bit fur Rot (R) , Griin (G) , Blau (B) 
und einen Alpha- Kanal (A) zur Verfugung (Der Grafikkarten 
Marktfuhrer NVIDIA erwagt die 8 Bit pro Farbkanal bis zu 32 
Bit pro Farbkanal zu erweitern) . Wird in diesera Format ein 
10 Grauwertbild verarbeitet, so wird in jedem der drei Kanale R, 
G, und B der selbe, den Grauwert reprasentierende Skalar ab- 
gelegt. Im Prinzip wird also das 8 Bit Grauwertbild dreifach 
in dem zur Verfugung stehenden Bildspeicher abgelegt . Fur die 
fehlenden 4 Bit des Kamerabildes konnen nun die 8 Bit des Al- 
15 pha-Kanals verwendet werden. Durch geeignete Implementierung 
werden aus den 8 Bit Grauwert im RGB und den 4 Bit Grauwert 
im Alpha-Kanal wieder die ganzen 12 Bit Grauwert der Kamera 
in der GPU hergestellt. Da standardmaSig am Display-Ausgang 
einer GPU die zur Darstellung zu bringenden RGB-Bilddaten als 
20 8-Bit Information zur Verfugung gestellt werden, kann durch 
die entsprechende Auswahl der Zwischengespeicherten der 8 Bit 
RGB-Grauwertinformation der Kamera und der 4 Bit Alpha-Grau- 
wert information der Kamera der gewunschte 8 Bit-Bereich ge- 
wahlt werden, der angezeigt werden soil. Dies ist gleichbe- 
25 deutend mit der Belichtungssteuerung der Kamera. Die Trans- 
formation der 12 Bit Kamera-Werte in das RGBA- Format ge- 
schieht hierbei in der Regel durch eine der GPU beigestellte 
CPU. Die CPU-Last ist bei Anwendung dieses vorteilhaf ten Ver- 
fahrens zur Kamera-Belichtungsregelung jedoch wesentlich ge- 
-30 ringer, als die bei der Belichtungssteuerung durch Intensi- 
tatsauswertung anfallende. Hinzukommt, dass der PCI- bzw. 
AGP-Bus fur den DMA auf 32 Bit Dateniibertragung optimiert 
ist. Beim RGBA - Format fallen genau diese 32 Bit an, so dass 
die dreifache Bildiibertragung (R=G=B) gerade keinen Nachteil, 
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sondern einen Vorteil bietet. Daruber hinaus, konnen die Da 
ten, die nicht angezeigt werden, mit 12 Bit in der GPU bear 
beitet werden. Diese 12 Bit konnen nach der Bearbeitung in 
der GPU rait dem gleichen Verfahren der CPU zu deren Weiter- 
verarbeitung zur Verfugung gestellt werden. 
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Patentans p riiche 

1. Vorrichtung zur Bildverarbeitung, bestehend aus 
einer Einheit zur Verfiigungsstellung von Bilddaten, 

5 einer Rechnereinheit zur Erkennung von Objekten in den Bild- 
daten ixnd 

einer Einheit zur Weiterverarbeitung der Erkennungsergebnis- 
se, 

dadurch gekennzeichnet, 
10 dass die Rechnereinheit zur Erkennung der Objekte im wesent- 
lichen aus einem Graphik-Prozessor (GPU bzw. VPU) , insbeson- 
dere mit einer im zugeordneten Hardware -Peripherie, besteht. 

2 . Vorrichtung nach Anspruch 1 , 

15 dadurch gekennzeichnet, 

dass die Einheit zur Verfugungsstellung der Bilddaten im we- 
sentlichen aus einem Kamerasystem und/oder einem Bildspeicher 
besteht . 

2 0 3. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 
dass die Einheit zur Weiterverarbeitung der Erkennungsergeb- 
nisse im wesent lichen aus einer Bildanzeige und/oder einer 
Einheit besteht, welche auf Grund der in den Bilddaten er- 

25 kannten Objekte auf andere Systeme einwirkt. 

4. Vorrichtung nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet 
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dass zur Unterstutzung bei den Bildverarbeitungsaufgaben par- 
allel zu dem Graphikprozessor eine frei programmierbare CPU 
angeordnet ist. 

5 5. Verfahren zur Bildverarbeitung, 

bei welchem Bilddaten zur Verarbeitung zur Verfugung gestellt 
werden, 

worauf in diesen Bilddaten mittels einer Rechnereinheit Ob- 
jekte erkannt werden, 
10 und die Erkennungsergebnisse an eine Einheit zur Weiterverar- 
beitung weitergeleitet werden, 

dadurch gekennzeichnet, 
dass die Algorithmen zur Erkennung der Objekte in den Bildda- 
ten im wesentlichen auf einem Graphik-Prozessor (GPU bzw. 
15 VPU) , insbesondere unter Zurhilf enahme der diesem zugeordne- 
ten Hardware -Peripherie, ablaufen. 

6. Verfahren nach Anspruch 5, 

dadurch gekennzeichnet, 
20 dass die Bilddaten durch ein Kamerasystem und/oder einen 
Bildspeicher zur Verfugung gestellt werden. 

7. Verfahren nach einem der vorhergehenden Anspruche, 
dadurch gekennzeichnet, 

25 dass im Rahmen der Weiterverarbeitung der Erkennungsergebnis- 
se diese auf einer Anzeige dargestellt werden und/oder einem 
System zur Verfugung gestellt werden, welches auf Grund der 
in den Bilddaten erkannten Objekte auf andere Systeme ein- 
wirkt . 

-3 0 

8. Verfahren nach einem der vorhergehend Anspruche, 
dadurch gekennzeichnet, 
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dass die GPU mit einer CPU in Verbindung stent, welche in 
steuernder oder regelnder Weise auf den Verarbeitungsablauf 
in der GPU einwirkt. 

5 9 . Verf ahren nach Anspruch 8 , 

dadurch gekennzeich.net, 
dass die Bilddaten via DMA. (Direkt Memory Access) von der Ka- 
mera oder einem Bildspeicher direkt in die GPU und nach der 
Aufbereitung durch die GPU durch DMA direkt in den Hauptspei- 
10 cher der CPU zur Weiterverarbeitung geladen werden, und die- 
ses Vorgehen gegebenenf alls auf umgekehrt und/oder iterativ 
erf olgt . 

15 
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Figur 2 
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